Generative Al Engineer - Associate 练习题 — 生成式人工智能工程师 - 助理级

本题核心考察RAG系统中分块策略优化的正确方法论，题目要求优化的是分块策略和相关参数，而非调整RAG其他模块或新增功能。正确选项C和E均围绕分块本身的优化逻辑展开，符合系统优化的规范流程，C通过检索侧的量化指标对比不同分块策略的效果，E通过生成侧的LLM评判指标优化分块参数，二者结合可覆盖分块优化的全流程评估需求，是生成式AI工程师认证中明确要求掌握的RAG优化核心方法。 各选项分析： A. 错误，该选项调整的是嵌入模型，属于RAG嵌入模块的优化，并非题目要求的分块策略和参数优化，优化目标与题目需求不符。 B. 错误，该选项新增分类器过滤检索结果，属于检索阶段的过滤逻辑优化，未涉及分块规则、块大小等分块核心参数的调整，不符合题目要求。 C. 正确，该选项符合RAG分块优化的标准流程，首先选择检索阶段的核心评估指标，召回率、NDCG属于信息检索领域通用的检索效果量化指标，再控制变量测试不同分块策略的效果，最终选择指标最优的方案，是认证体系中要求掌握的基础分块优化方法。 D. 错误，该方法仅通过已知问题的答案词元统计确定块大小，忽略了文本本身的语义完整性、结构特征比如段落、章节边界，无法保证分块后语义的连贯性和检索的准确性，不是科学的分块优化方法。 E. 正确，该选项采用认证体系中推荐的LLM as Judge评估方法，针对分块后检索到的知识块对回答问题的支撑效果进行评估，直接关联分块质量与最终回答效果，可有效指导分块参数的迭代优化，符合题目需求。 关键知识点： 1. RAG分块优化方法论，要点是优化分块策略需以评估指标为核心，控制变量测试不同分块规则、块大小等参数，选择适配业务场景的最优配置，避免仅凭直觉设置参数。 2. RAG系统双层评估体系，要点是分为检索层指标，包括召回率、NDCG等，评估检索内容的相关性，和生成层指标，包括LLM评判的回答准确性、相关性等，评估最终输出质量，用于针对性优化RAG各模块性能。 3. LLM as Judge评估方法，要点是利用经过指令微调的大语言模型作为自动评判者，可对RAG检索上下文质量、生成答案质量进行高效的自动化评估，适合RAG系统的快速迭代优化。 参考资料： 1. Azure OpenAI 检索增强生成概念文档 - 分块策略部分, 2. AWS 构建健壮RAG应用最佳实践

本题考察All Certified Generative AI Engineer Associate认证中RAG应用的标准构建部署流程，题目场景为运动技术规则问答，对回答准确性要求极高，需严格遵循RAG落地的标准步骤。B选项的流程完全符合认证要求的RAG全生命周期：首先完成离线知识库构建，从源头采集运动规则相关的各类文档，对文档做拆分、嵌入转换后索引存入向量搜索引擎；之后验证在线推理链路，模拟用户向LLM提交查询请求，触发检索模块从向量库中拉取匹配的相关规则文档，将查询和检索到的上下文拼接后传给LLM生成响应；接下来对生成的响应做效果评估，验证其是否符合真实规则、是否存在幻觉、相关性是否达标；评估通过后最终使用模型服务部署上线供用户使用，完全满足规则类问答RAG应用的构建需求。 各选项分析： A. 错误，该选项将评估模型步骤放在LLM生成响应之前，不符合认证要求的RAG流程逻辑，模型效果评估需要基于生成的响应结果才能开展，没有生成响应无法完成准确率、幻觉率等维度的评估，流程顺序错误。 B. 正确，该选项的流程完全匹配认证体系中RAG应用从离线知识库构建、在线推理链路验证、效果评估到服务上线的全流程，针对规则类高准确性要求的场景，将评估环节放在生成响应之后、部署之前，能有效规避错误规则输出，符合落地规范。 C. 错误，该选项缺少RAG应用核心的用户查询处理、向量检索、LLM生成响应等推理环节，仅包含数据处理和部署相关步骤，无法构成完整可用的RAG应用，不符合认证对RAG核心架构的要求。 D. 错误，该选项将用户查询步骤放在文档摄取、索引构建之前，RAG需要提前完成知识库的构建才能响应用户查询，流程顺序完全颠倒，不符合RAG的基本逻辑。 关键知识点： 1. RAG应用全生命周期流程：核心分为离线知识库构建、在线推理、效果评估、服务部署四个阶段，是All Certified Generative AI Engineer Associate认证要求的核心RAG落地知识。 2. RAG应用效果评估规范：需在推理链路跑通、可生成稳定响应后开展，针对规则类等强准确性要求的场景，需重点验证响应准确率、幻觉率、相关性指标，评估达标后方可上线部署。 3. 向量检索在RAG中的核心作用：通过将用户查询转换为向量后匹配知识库中的相似文本块，为LLM提供与查询相关的精准上下文，是降低LLM幻觉、提升回答准确性的核心环节。 参考资料： 1. Retrieval Augmented Generation (RAG), https://aws.amazon.com/what-is/retrieval-augmented-generation/ 2. 检索增强生成 (RAG) 基本概念, https://learn.microsoft.com/zh-cn/azure/ai-services/openai/concepts/use-your-data#retrieval-augmented-generation

All Certified Generative AI Engineer Associate认证的核心知识体系包含生成式AI应用全生命周期运维管理，其中生产环境监控是重点考察模块。本题场景为已部署上线的客户服务类LLM应用，监控的核心目标是保障服务可用性、稳定性，满足客户咨询的正常响应需求。单位时间内处理的客户咨询数量属于服务层吞吐量指标，是判断系统负载承载能力、服务是否满足业务需求、是否需要扩容或排查服务故障的核心依据，完全匹配生产环境的监控需求，因此正确答案为A。 各选项分析： A. 单位时间内处理的客户咨询数量属于生成式AI应用生产监控的服务层核心吞吐量指标，能够直观反映系统的实际承载能力和运行负载，可用于及时识别流量突增、系统过载、服务异常等问题，保障客户服务的可用性，符合生产环境的监控需求，因此该选项正确。 B. 每次查询的能耗属于底层基础设施的成本核算类指标，并非面向客户服务业务场景的常规运维监控项，普通业务侧的LLM应用运维不需要将其作为核心监控指标，因此该选项错误。 C. 模型训练的最终困惑度得分是LLM训练阶段用来评估模型训练收敛效果的指标，模型部署到生产环境后该值已经固定，不需要在生产运行阶段进行监控，因此该选项错误。 D. HuggingFace排行榜基础LLM值是公开的通用基础模型的基准测试得分，和企业自定义微调、适配业务场景部署的客服LLM应用的实际运行表现没有直接关联，不属于生产环境需要监控的指标，因此该选项错误。 关键知识点： 1. LLM应用全生命周期指标管理，要点是LLM应用的指标分为训练、评估、生产推理三个阶段，不同阶段的指标用途和监控目标存在明确差异，不可跨阶段混用。 2. 生成式AI应用生产层监控核心分类，要点是生产环境的LLM应用监控分为业务层、服务层、模型层三类，服务层的吞吐量、响应延迟等指标是保障服务可用性的核心监控项。 3. 面向外部客户的生成式AI应用运维要求，要点是直接服务外部客户的生成式AI应用的监控首要目标是保障服务稳定性，优先监控直接影响业务可用性的流量、响应类指标。 参考资料： AWS Well-Architected Framework Generative AI Lens - Monitoring, https://docs.aws.amazon.com/wellarchitected/latest/generative-ai-lens/monitoring.html Azure OpenAI Service 监控指南, https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/monitoring

本题核心需求是从超大规模团队中筛选同时满足日期可用、非结构化员工资料与项目范围语义匹配的成员，属于生成式AI匹配类应用的典型场景。结合All Certified Generative AI Engineer Associate认证核心知识体系，最优方案需要同时兼顾三点：一是优先通过结构化的日期条件过滤不可用员工，缩小后续处理的数据范围，降低算力消耗；二是针对非结构化文本的匹配需求，采用语义匹配方案保证匹配精度；三是适配大规模团队的场景，采用高效的检索方案降低处理时延。选项D的设计完全覆盖上述要求，先完成日期可用性过滤，再将员工非结构化资料转为嵌入存入向量库，通过项目范围的嵌入执行语义检索，既保证了非结构化内容的匹配精度，又具备大规模数据下的高处理效率，完全符合题目需求。 各选项分析： A. 错误，首先检索逻辑倒置，本题的查询输入是项目范围，目标是检索匹配的员工，应该将员工资料存入向量库、用项目范围作为查询语句执行检索，而非将项目范围存入向量库用员工资料检索；其次未先通过日期条件过滤不可用员工，全量检索的效率极低，不适合大规模团队场景。 B. 错误，首先关键词匹配无法捕捉非结构化文本的隐含语义关联，比如员工资料提到有电商用户画像开发经验，项目范围提及要搭建零售用户分群体系，二者语义高度匹配但关键词重合度低，会导致匹配精度不足；其次遍历可用员工执行匹配的方案在大规模场景下效率极低，不符合工程最优实践。 C. 错误，首先方案要求遍历所有团队成员计算相似度，没有利用前置的可用日期过滤结果缩小计算范围，会产生大量无意义的算力消耗；其次逐份遍历计算相似度的效率远低于向量库检索，在超大规模团队场景下会出现极高的处理时延，无法满足业务需求。 D. 正确，首先通过日期工具先筛选出可用员工，大幅缩小了后续匹配的数据集范围，降低了算力消耗；其次将员工非结构化资料转为向量嵌入存入向量库，用项目范围作为查询执行语义检索，既保证了非结构化文本的匹配精度，又具备大规模数据下的极高检索效率，完全符合题目所有要求。 关键知识点： 1. 非结构化文本语义匹配技术：针对非结构化文本的匹配需求，将文本转换为向量嵌入后通过向量数据库进行语义检索，相比关键词匹配可获得更高的匹配精度，同时适合大规模数据集的高效查询。 2. 生成式AI应用查询优化逻辑：在执行非结构化内容匹配前，优先通过结构化过滤条件缩小待匹配数据集范围，可有效降低算力消耗、提升整体处理效率。 3. 向量检索适用场景：对于十万级及以上规模的非结构化数据匹配场景，向量检索的查询效率远高于逐份遍历计算相似度的方案，是企业级生成式AI匹配类应用的首选方案。 参考资料： AWS OpenSearch Service 生成式AI语义搜索最佳实践, OpenAI 嵌入技术使用指南

本题考察生成式AI应用的外部数据供给组件选型，核心需求是让基于LLM的赛事评论平台获取实时更新的比赛比分数据，生成符合最新情况的分析内容。根据All Certified Generative AI Engineer Associate认证的核心知识体系，特色服务即特征服务是MLOps体系中专门用于存储、同步、低延迟提供实时特征的核心组件，可将实时更新的赛事数据以高可用低延迟的方式提供给LLM推理流程，让大模型可以基于最新数据生成对应内容，完全匹配题目需求。 各选项分析： A. DatabricksIQ是Databricks平台推出的面向数据从业者的自然语言查询助手，主要用于简化数据湖、数据仓库的查询分析操作，不具备为实时生成式AI应用提供低延迟实时数据的能力，不符合题目需求，该选项错误。 B. 基础模型API是调用预训练大模型能力的接口，仅提供大模型本身的推理能力，本身不具备获取、存储实时外部数据的功能，无法解决实时数据访问的核心需求，该选项错误。 C. 特色服务即特征服务是生成式AI应用架构中负责实时特征供给的核心组件，支持实时同步数据源的最新数据如实时赛事比分，并提供毫秒级的特征查询能力，可将最新数据注入LLM的推理提示词中，生成符合实时情况的分析内容，完全满足题目需求，该选项正确。 D. 自动机器学习是用于自动化完成模型训练、超参数调优、模型评估的工具集，核心作用是降低模型开发的门槛和成本，和实时数据访问功能无关，不符合题目需求，该选项错误。 关键知识点： 1. 生成式AI应用的实时数据供给规则：大模型本身的训练数据存在固定截止时间，要生成实时相关内容必须通过外部组件获取实时数据注入推理流程。 2. 特征服务的核心功能：特征服务是MLOps体系中专门用于管理、提供批量和实时特征的组件，可支撑AI应用对低延迟、高一致性最新数据的访问需求。 3. 生成式AI应用架构的组件分工：基础模型API、特征服务、AutoML等组件各司其职，需根据业务场景的核心需求选择对应组件。 参考资料： Google Cloud Vertex AI Feature Store 官方文档, Databricks Feature Store 官方文档, https://docs.databricks.com/en/machine-learning/feature-store/index.html